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= (54) Title: FUZZY ASSOCIATIVE SYSTEM FOR MULTIMEDIA OBJECT DESCRIPTION 
(54) Titre : SystEme associatif flou de description d' objets multimEdia 

(57) Abstract: The invention concerns 
a method for automatic description of an 
unknown multimedia object, which consists 
in associating the unknown object with 
several types of reference multimedia 
objects each time based on a membership 
probability particular to each type concerned 
(G), the method including a step which 
consists in measuring at least one physical 
characteristic on the unknown object (F) 
and in comparing it with measurements of 
characteristics representing best the reference 
types, the method further comprising the 
step (H) which consists in using for each 
type at least one probabilistic relationship 
providing a membership probability to the 
type concemed based on the result of the 
comparison of the characteristics of the 
unknown object and of the type, the method 
further comprising the step which consists in 
using the probabilities of membership to the 
various types thus obtained in combination 
with a series of affinity relationships between 
types, so as to select memberships which 
both constitute the majority in terms of 
probability and which designate one another 
by their affinity relationship, and so as to 
exclude memberships with less affinity with 
the selected types. 
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(57) Abrege : Uinvention conceme un precede de description autoniatique d'un objet multimedia inconnu, dans lequel on associe 
robjet inconnu avec plusieurs types d'objets multimedia de reference selon ^ chaque fois une probabilite d'appartenance respecttve 
k chaque type considere (G), le precede incluant une etape consistant k mesurer au moins une caracteristique physique sur Tobjet 
inconnu (F) et ^ la comparer avec des mesures de caracteristiques representant au mieux les types de reference, le proced^ comprenant 
en outre T^tape (H) consistant a utiliser pour chaque type au moins une relation probabiliste donnant une probabilite d'appartenance 
au type consid6r6 en fonction du lesultat de la comparaison des caracteristiques de r objet inconnu et du type, le proced^ comprenant 
en outre Tetape consistant k utiliser les probabilites d'appartenance aux differents types ainsi obtenues en combmaison avec une 
serie de relations d'affinit^s entre types, de mani^e ^ 61ire des appartenances qui sont a la fois majoritaires en probabihte et qm se 
co-designent par leur relation d'afFmite, et de manifere k exclure des appartenances ayant une moindre affinite avec les types 61us. 
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« Systeme associatif flou de description d'objets multimedia » 

L'invention concerne la caracterisation d'objets multimedia, et en 
5 particulier les techniques pour reduire les ambiguTt6s de la reconnaissance 
d'objets multimedia. 

L'invention concerne ainsi, notamment, la description du contenu des 
fichiers multimedia associ6s aux objets. 

L'objectif de l'invention est notamment de proposer un precede 
10 permettant de d^crire et de comparer des objets dans un contexte 
d'incertitude. 

Pratiquement, l'invention vise par exemple d d6crire et comparer des 
fichiers image, musicaux, vld^o ou d'autres formes. 

Elle permet de repondre aux questions du type : je souhaite trouver 
15 des morceaux de musiques correspondant t « mes goOts ». Une telle 
operation pose deux probl§mes. Le premier est de mod6liser des notions 
comme « mes gouts » qui sont trds subjectives. De nombreux travaux ont 
d6j§ traite ce probl6me dans le cas oD I'objet b6n§ficie d'un contexte 
textuel. Nous nous interessons notamment ici aux objets isol6s sans 
20 contexte textuel. C'est la deuxieme difficult^ que nous proposons de 
resoudre, k savoir extraire d'un objet isol6 des caracterlstiques qui 
pennettront de le d6crire et de le soumettre & la comparalson, l'objectif 
etant d'en obtenir une caracterisation s6mantique (e.g. sous fonne de mots 
cles) en termes de probability. 
25 Ces objectifs sont atteints dans le cadre de l'invention, gr§ce a un 

precede de description automatique d'un objet multimedia inconnu, dans 
lequel on associe I'objet inconnu avec plusieurs types d'objets multimedia 
de reference selon a chaque fois une probabilite d'appartenance respective 
a chaque type considere, le precede incluant une etape consistant § 
30 mesurer au moins une caracteristique physique sur I'objet inconnu et a la 
comparer avec des mesures de caracteristiques representant au mieux les 
types de reference, le precede comprenant en outre I'etape consistant ^ 
utiliser pour chaque type au moins une relation probabiliste donnant une 

mm M mmPXB^m (slsii i^) 
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probability d'appartenance au type consider^ en foncUon du r^sultat de la 
comparaison des caract6ristiques de I'objet inconnu et du type, le proc6de 
comprenant en outre r§tape conslstant a utiliser les probabilit6s 
d'appartenance aux differents types alnsi obtenues en combinalson avec 
5 una s6rie de relations d'affinit§s entre types, de manldre S 6lire des 
appartenances qui sent & la fois majoritaires en probabilite et qui se co- 
designent par leur relation d'affinit^, et de manl^re & exclure des 
appartenances ayant une moindre affinity avec les types elus. 

On propose egalement selon I'invention un dispositif de description 
10 automatique d'un objet multimedia inconnu, comprenant des moyens pour 
assocler I'objet inconnu avec plusieurs types d'objets multimedia de 
r§f6rence selon a chaque fois une probabilite d'appartenance respective au 
type considere. le dispositif incluant des moyens pour mesurer au moins 
une caract6ristique physique sur I'objet inconnu et la comparer avec des 
15 mesures representant au mieux les types de reference, le dispositif 
comprenant en outre des moyens utilisant pour chaque type au moins une 
relation probabiliste donnant une probabilite d'appartenance au type 
consid6r6 en fonction du r^sultatde la comparaison des caract^ristiques de 
I'objet inconnu et du type, le dispositif comprenant en outre des moyens 
20 pour utiliser les probabllltes d'appartenance aux differents types ainsi 
obtenues en combinaison avec une 8§rie de relations d'affinites entre 
types, de maniere a 61ire des appartenances qui sont & la fois majoritaires 
en probabirrt6 et qui se co-designent par leur relation d'affinit6, et de 
manidre k exclure des appartenances ayant une moindre affinity avec les 

25 types 6lus. . 

D'autres caract§ristlques, buts et avantages de I'invention 
apparattront a la lecture de la description d6taillee qui va sulvre. falte en 
reference aux figures annexees sur lesquelles : 

- les figures 1a et 1b repr§sentent sch§matiquement des modes 
30 d'association, le premier mode dans un plan dit «de types », le second 

mode en tant que mode a apprentissage, 

- la figure 2 est un synoptique representant differentes 6tapes mises 
en oeuvre dans une variante pref^ree de I'invention, 
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- la figure 3 est un trace representant un niveau de probabilite 
d'appartenance en fonction du niveau de pond6ration d'une caracteristlque 

physique donn6e, 

- la figure 4 est un trac§ representant une approximation du trac§ 

5 precedent, 

- la figure 5 est un trac6 representant une probabilite d'appartenance 
en fonction d'une en-eur mesuree sur des variables d'entr^e, 

- la figure 6 est un trac6 du meme type pour une en-eur sur la 
variable de sortie, 

10 - la figure 7 et la figure 8 sont chacune un trace representant une 

probabilite d'appartenance en fonction d'une erreur sur une caracteristlque 
respective en entree (etape 4 de la figure 2), 

- la figure 9 est un trace representant une probability d'appartenance 
en fonction d'une moyenne d'en-eurs mesurees sur deux caracteristiques. 

15 La methode employee est d'une grande adaptability. Trois aspects 

sont developpes ci-apres, qui sont les reseaux associatifs (liens 
semantiques entre objets de references), la logique floue (gestion de 
rincertitude) et une etape appelee ici « inference con-eiative» (limlter 
rambiguTte par croisement d'informations). 

20 Contrairement a I'approche courante qui se place trds en amont et 

cherche plutdt ^ optimiser la precision de la modelisation de I'lmage, plus 
generalement de I'objet, on se situe plus haut dans les couches. On prend 
le modeie de I'image (du son. etc.) brut m§me s'll est de mauvaise qualite 
et on cherche § reduire I'ambigufte de I'Interpretation gr§ce ^ des methodes 

25 de gestion de I'incertitude (recoupement, logique floue). 

L'op6ratlon de description est preferentlellement realisee en 
comparant des objets Inconnus ^ des objets de caracteristiques connues et 
par croisement et aboufrt ^ un vecteur de caracteristique associe ^ une 
probabilite d'appartenance. Ce vecteur traduit la relation entre des 
30 proprietes physiques ou logiques et des proprietes conceptuelles (voir fig. 
1a. 1b). 

La methode decrite ci-apres vise la caracterisation dans un contexte 
d'incertitude et s'applique a des objets quelle que soit leur nature 
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(analogique. numerique. symbolique. etc.). Ceci 6tant dit. pour des raisons 
de clarte. nous restrelgnons les explications qui suivent aux fichiers de type 
multimedia (e.g. mp3. mpeg, wav. jpg. etc). Ces objets peuvent §tre par 
exemple d§crits par certaines des propri§t6s physiques des objets 
analoglques sous jacents (frequences. dur6e. fomies typiques. etc). Par 
ailleurs, ces memes objets peuvent etre decrits dans le registre conceptuel 
par una typologle adequate (musique pop. jazz, film d'action. photo de 
voiture) ou un type pr§fer§ sans qu'il soit reference pr§cisement (eg un 
melange de jazz et de classique personnalise). Un premier objectif est de 
mettre en ceuvre une correspondance associative entre le domaine 
physique et le domaine conceptuel. 

Les figures 1a et 1b pr§sentent deux modes d'associations. Le 
premier (figure 1a) dans le plan des types est une association conceptuelle 
classique (par exemple entre des th§mes du lexique interconnect§s par des 
15 relations ponder6es en fonction de leurs proximites semantique). Le second 
(figure lb) est obtenu par apprentissage entre les types et les 
caracteristiques de r6f6rences. Ce type d'architecture permet par 
recoupement d'identifier des relations conceptuelles entre caracteristiques 

physiques ou logiques. 
20 Par exemple. les types peuvent etre des mots, les caracteristiques 

peuvent §tre des formes dans le cas d'Images. 

Le choix des caracteristiques est §i r6aliser pref6rentiellement une 
fois pour touts pour un ensemble de types donn6s mals requlert une 
expertise. Par exemple un musicien et un 6lectronicien seront S m©me 
25 d'identifier les grandeurs representatives de la typologle musicale (par 
exemple la frequence moyenne des 10 premieres secondes d'un morceau 
de musique perniet d'identifier une musique d'ambiance d'un morceau de 
hard rock). Dans les exemples qui suivent nous n'utiliserons que des 
caracteristiques simplifiees pour decrire notre m§thode. 
30 Void un premier exemple con-espondant au cas de documents 

sonores, permettant de comprendre le principe. 
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Pour savoir si un fichler musical contlent un morceau de flQte ou de 
cor (2 types conceptuels simples) il faut pouvoir acceder au signal sonore 
cod6 dans le fichler (e.g. wav, mp3). 

Ceci est realist par des algorithmes de decodage classiques. Le 
5 signal sera analyst avec des outlls de traitement du signal adequats qui 
pourront determiner sa frequence (caract6ristique physique simplifi6e pour 
I'exemple). Si on considere des fichiers de reference (plusieurs fichiers du 
type cor, plusieurs fichiers du type flQte), on poun-a determiner leurs 
frequence moyenne dans le cas du cor et dans le cas de la flute. On pounra 
10 constater que la frequence A+delta f est celle de la flute et la frequence B+ 
delta f celle du cor. Ces frequences ainsi que les types associes seront le 
modele de reference obtenu par une etude statistique sur un echantillon 
representatif. En calculant la frequence fi d'un certain nombre de fichiers 
contenant des sons d'instruments inconnus, on pourra determiner leur 
15 appartenance § la categorie flQte ou cor en fonction de la proximit§ (si fi-A < 
seuil alors i proche de flQte). il est §galement envisage que I'ensemble des 
fichiers de reference de type «cor» puisse contenir des fichiers ne 
contenant pas du cor. La firequence moyenne contient alors 
intrlnsequement une marge d'erreur et sa proximite avec la frequence d'un 
20 fichier § analyser est analysee de manure probable, egalement pour tenir 
compte du fait que le calcul de la moyenne est en fait le calcul d'une 
moyenne probable (esperance math6matique). 

Get exemple est tr§s simplifie car un fichier sonore (c'est encore plus 
complique pour les fichiers vid6o) est le plus souvent une agregatlon 
25 complexe de frequences differentes dans le temps et dans I'espace. 

Pour resoudre ce probieme de complexite, on identifie 
preferentiellement un certain nombre de caracteristiques frequentielles 
spatiales et temporelles (fixes et evolutives) qui seront & m§me de decrire 
en theorie n'importe quel signal. Void un autre exemple plus precis d'une 
30 definition de telles caracteristiques. L'analyse spectrale du signal sur toute 
sa duree permet de recuperer le taux de frequence hautes et basses. Nous 
ne considerons que 10 plages de frequences (f1 a f10) reparties sur le 
spectre audible (20 Hz a 20 KHz) par exemple dfl=20 Hz-500 Hz, 
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df2=500Hz-2 KHz. df3=2kHz-5KHz etc. Dans la pratique le decoupage 
frequentiel tiendra compte de la frequence fondamentale des princlpaux 
instruments. Cette analyse peut §tre r§alis§e a diff6rentes p6riodes du 
signal. Par example, nous calculons la distribution fr6quentielle sur des 
5 espaces de dix secondes espac6s toute les trente secondes sur un signal 
d'une duree de trois minutes. Les six ensembles de dIx plages 
fr^quentielles (que nous appellerons 6chantillons) seront consid^res 
comme les caracteristiques physiques d'un signal du morceau de musique. 
Si comme dans I'exemple precedent on connaTt un morceau de musique de 
10 r6f6rence « qui nous plait » (sans forcement bien savoir le d§crire sur le 
plan conceptuel - Cost peut etre du Jazz ou du blues, etc-). On peut 
calculer T^chantillon de reference et par la suite on peut appliquer a tout 
morceau de musique le calcul de I'^chantillon que Ton comparera ^ 
I'dchantillon de r6f6rence). En fonction de la proximity physique, on pourra 
15 d6duire la proxlmit6 conceptuelle vis ^ vis de ce type « qui nous plaTt ». 
Autrement dit. plus les caracteristiques spatiales. frequentielles et 
temporelles du signal a classer et celles du signal de reference seront 
proches. plus on sera certain que le morceau gi classer est un morceau de 

ce type « qui nous plaTt ». 
20 Dans le cas oD on a d6fini plusieurs types de morceaux qui nous 

plaisent. on calcule la proximity des caract§ristiques du morceau inconnu 
vis a vis des caracteristiques de chacun de ces types. 

On obtient alors une s6rie de probabilit§s d'appartenance du 
morceau inconnu pour chacun de ces types. Les types de morceaux qui 
25 nous plaisent ont eux-m§mes des compatibilites ou affinites. Ainsi. certains 
de ces types sent des types musicalement proches en ternies de 
perception, tels que par exemple un type « rock » ou un type « hard-rock ». 

D'autres types sont incompatibles tels qu'un type « musique de 
chambre » et un type « musique electronlque ». 
30 On utilise ce r§seau d'affinites de perception de Toreille entre les 

diff§rents types, ainsi que les probabilit§s d'appartenance aux differents 
types, pour deduire une appartenance a une categorie plus large 
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regroupant une partle seulement de ces types qui nous plaisent. On choisit 
Id d'appeler cette 6tape une « inference conr6lative ». 

Cette appartenance gi une categorie plus large finalise la description 
automatis§e de I'objet multimedia au d§part inconnu. 
5 En d'autres tennes, on utilise les probabilites d'appartenance aux 

differents types ainsi obtenues en combinaison avec une s6rie de relations 
d'affinites entre types, affinit^s representatives de la perception humalne, 
de manidre ^ elire des appartenances qui sont a la fois majoritaires en 
probabilite et qui se co-designent par leur relation d'affinite. et de mani§re d 
10 exclure des appartenances ayant une moindre affinity avec les types §lus. 

Les elections et exclusions dont on parte se concretised dans le cas 
present par le fait d'identifier une partie seulement (une « cat6gorie » ici) 
des types qui nous plaisent, 

De m§me, si Ton utilise plusieurs morceaux de references « qui nous 
15 plaisent » pour calculer les caracteristiques moyennes, on realise un 
apprentissage des caracteristiques de references. Ces caracteristiques de 
reference sont une moyenne pouvant integrer des morceaux donnes par 
en-eur et done cette moyenne est une reference « la plus probable », et la 
proximite d'un morceau considere vis a vis de ces caracteristiques. est 
20 utilisee pour donner une « probabilite » que ce morceau nous plaise. Plus le 
morceau est proche de la reference statlstique, plus la probabilite qu'il nous 
plalse est grande. La meilleure probabilite qu'il nous plaise con-espond a 
une totale similitude entre caracteristiques du morceau considere et 
moyenne statistlque des caracteristiques de morceaux de reference. 
25 Dans le cas de documents visuels (image et video), la caracterisation 

des documents visuels est pref6rentiellement basee sur le mSme principe 
que celui des documents sonores. 11 s'agit de mesurer la proximite avec 
d'autres objets selon des caracteristiques simples. Une Image est analysee 
pour identifier par une recherche de contours les fornies complexes isoiees 
30 ainsi que leurs caracteristiques chromatiques (moyenne, ecart type sur la 
forme). Ces operations sont classiques dans I'art: du traitement d'images. 

Comme decrit precedemment, on associe un ensemble de types 
conceptuels ^ un ensemble de caracteristiques physiques. Ces types 
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conceptuels sont par exemple : maison, animal, fleur, etc. Les 
caracteristiques physiques correspondent aux fomies simples et a leurs 
descriptions chromatiques. 

L'etape suivante consiste a rechercher les proximit§s entre des 
5 formes inconnues et des formes « statistiquement » connues (voir plus loin) 
ou une moyenne formant une « meiileure probabilite » qu'une image nous 
plaise. lei, les types conceptuels sont ceux inherents aux images fixes (on 

adapte cet ensemble dans le cas des videos : action, sport,etc 

information de type dynamique). Comme dans le cas de donnees sonores, 
10 la video est consideree comme un echantillonnage de plusieurs images 
6tant trait6 isolement puis contribuant ^ une caracterisation statistique du 
film. 

On prend ici en compte une incertitude et une ambiguYte des 
analyses. Les etres vivants prennent leurs decisions dans un contexte 
15 d'incertitude, en terme de probability. Meme des decisions qui peuvent 
nous apparattre comme 6videntes, r6pondent a ce principe. 

Lorsque nous apercevons une personne au loin, notre cerveau 
mobilise ses fonctions cognitives pour comparer ce que nous percevons ^ 
un ensemble de caracteristiques de base que nous avons memorise dans 
20 le pass6. Ces operations nous amenent ^ tirer la conclusion que la 
personne en question est probablement un ami. Lorsque nous voyons cette 
personne de plus pr§s, son identity nous apparatt comme evidente 
pourtant, les m§mes m§canismes que pr6c6demment nous ont amen6 a 
une r^ponse tout aussi probabiliste. La difference, c'est que dans le second 
25 cas, la probability est beaucoup plus Importante. 

On va decrire maintenant deux m6canismes utilis6s dans I'exemple 
pr§f§r6 de realisation de Tinvention. 

Le premier est le traitement et la composition (le calcul) de 
premisses approximatives (peut etre que. II y a des chances, etc.) La 
30 logique floue donne un certain nombre d'outils permettant de calculer avec 
des elements incertains. L'autre m§canisme est base sur le croisement 
d'information. Par exemple. si I'analyse d'une image revele une forme 
proche a 75% d'un camion, a 75% d'une maison, a 60% d'un bus et ^ 10% 
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d'un chalet, on consid^rera que la forme est un v§hicule car 
s6mantiquement la cat6gorie vehlcule (camion et bus) est plus « co- 
design6e » que la cat§gorie habitation (chalet et maison). C'est un exemple 
particulier de ce que Ton appelle ici I'Inference conrelative. Ceci est possible 
5 car les types conceptuels poss§dent leur propre reseau d'assoclation 
correspondant aux caracteristlques linguistiques (arbre, fleur et v6g§tal sont 
associes mais de maniere differente). Au depart, la recherche des 
caracteristlques et le travail de rapprochement entre ces caract6ristiques et 
les types conceptuels se fait sans tenir compte du niveau d'assoclation 
10 interne entre les types conceptuels. Cette association sera utilisee pour 
lever certaines ambiguTtes sur les associations physiques/conceptuels. 

La encore, les recoupements semantiques refldtent des affinites 
entre les differents types, afTinites qui sont prises en consideration en 
commun avec les probabilites d'appartenance ^ chacun de ces types, et 
15 permettent d'etablir I'appartenance ou non a une categorie. 

En d'autres tennes, pour identifier dans cet exemple une categorie 
g§nerale d'appartenance, on utilise les probabilit6s d'appartenance aux 
differents types ainsi obtenues en combinaison avec une s6rie de relations 
d'affinites entre types, affinlt§s representatives de la perception humaine, 
20 de manl^re ^ 6ilre des appartenances qui sont a la fois majoritaires en 
probabilite et qui se co-d6slgnent par leur relation d'affinlte, et de maniere ^ 
exclure des appartenances ayant une moindre afflnlte avec les types elus. 

Pour r6tabllssement des relations d'affinites utilis§es dans cette 
deuxidme 6tape ici appel§e « etape d'inf^rence con^§lative », on met ici en 
25 oeuvre un traitement pr§liminaire d'une multitude de textes, dans lequel on 
relive les occurrences particull§rement fr6quentes de deux ternies a 
chaque fois en position de proximite dans ces textes. AinsI, la relation 
semantique entre « maison » et « chalet » est Identifi6e simplement par la 
presence frequente de ces deux temnes proches I'un de I'autre dans une 

30 s6rie de textes. 

A contrario, le fait que les termes « camion » et « chalet » ne soient 
pratiquement Jamais presents et proches I'un de I'autre, permet d'identifier 
qu'aucun lien de proximite semantique (affinity) n'existe entre ces mots. 
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L'existence d'une affinity est par exemple d6cel6e en fonction du 
d^passement d'un seuil de frequence dans les textes de deux mots d 
proximite I'un de I'autre (a proximrt6 car seulement distants d'un nombre de 
mots pred6finis). 

5 Un tel traitement prealable d'une s6rie de textes permet 

d'automatiser Tetablissement d'affinites entre types. De telles afRnit^s sont 
blen representatives de la perception humaine en ce qu'elles conrespondent 
au sentiment d'afflnite entre types que peut ressentir une personne. que ce 
soit rafRnit6 entre «rock» et « hard-rock » pour la musique. ou I'affinit^ 
10 entre «maison » et « chalet » pour des images. 

Blen entendu, dans d'autres modes de realisation, le traitement 
prealable d'une s6rie d'objets descriptifs ou d'une s6rie d'objets existants 
pennet de la m§me fagon d'identifier des affinites typiques car 
statistiquement tr^s representees comme definissant une relation 
15 semantique entre deux temies ou deux caracteristiques. 

Les elections et exclusions de types consistent simplement ici a 
identifier une partie d'entre eux signalant ensemble la categorie generate 
d'appartenance de I'objet. 

La constitution du reseau assoclatif (figure 1a, plan du bas) est 
20 reallsee ici par apprentlssage. comme on vient de le decrire a partir de 
I'exploitation d'une s6rie de textes. dans I'exempte en presence. 
Malntenant. II s'agit d'identifier les caracteristiques statistiques de la relation 
entre entr6e (physique, plan du haut) et sortie (conceptuel. plan du bas). 
Ces caracteristiques seront utilisees pour alimenter le module flou. SI on 
25 considere un ensemble de z relations R entre chacun des p types de 
reference et une ou plusieurs des n caracteristiques. cheque relation Rij 
contient la representation statistique de I'ensemble des exemples de cette 
relation foumis par tes objets de reference. La relation contient la moyenne. 
recart moyen, min, max. n, etc. Par exemple. sur cent objets de reference 
30 la caracteristique i du type j est presente soixante fois la moyenne de la 
relation Rij est ^ 0.6. 
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Pour plus de clart6, nous aliens donner maintenant un exemple 
d'application d'une prise de decision a partir d'une approche floue. La 
reconnaissance de contenu d'image est ici I'exemple d'application. 

L'objectif est d'impl6menter dans un r6seau associatif des relations 
5 entre des formes et un type par exemple le type voiture. Nous nous limitons 
dans le cadre de cet exemple mais dans la pratique on peut prendre plus 
de caracteristiques que la forme et plus de type que le simple type voiture. 

Sur la figure 2. i'etape A con-espond ^ une identification manuelle 
des caracteristiques de references (e.g. formes, spectre moyen sur les 10 
10 premieres secondes d'un morceau de musique) et des types pertinents 
(travail d'expert). 

L'etape B est une recuperation automatique (moteur de recherche et 
aspirateur Web-Internet) d'objets (par exemple image de voiture) 
statistiquement pertinents decrivant un type donne (idem pour tous les 
15 types definis) a partir de mots cles (voiture, automobile, etc). 

L'§tape C est une 6tape d'analyse du contenu des objets de 
references: mesure des caracteristiques de reference, analyse et 
segmentation des resultats (groupes). On utilise une technique de 
categorisation classique pour ridentification des groupes. 
20 Ces trois 6tapes sont realisees pour plusieurs types de references 

relies par un reseau associatif. Cette approche pemiettra dans une etape 
ulterieure (Etape H), par recoupement, de regler certaines ambiguYtes. 

L'etape D correspond & une fuzziflcation, c'est-^-dire une 
identification des variables d'entree (les caracteristiques) et de sortie (les 
25 types), des fonctions et limites d'appartenance, les infonmations issues des 
etapes precedentes penmettant d'automatiser cette etape. 

L'etape E con-espond § une etape de definition des regies 
d'Inferences. Ces regies sont generiques et conrespondent § une 
composition homogene de fonctions AND/OR liant les entrees aux sorties. 
30 L'etape F est une etape de mesure des caracteristiques sur I'objet 

inconnu. 

L'etape G est une etape de defuzzification : evaluation du niveau des 
variables de sortie. Cette etape presentee ici au sens global con-espond a 
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la d§fuzzlficatlon de chacune des sorties. Le r^sultat se pr6sente sous la 
forme d'une probabillt6 d'appartenance de I'objet Inconnu a chaque type. 

L'etape H est une §tape de croisement des rSsultats a I'alde d'un 
reseau assoclatif pour limiter I'ambiguTte (e.g. si I'objet est 50% un arbre. 
5 50% une voiture et 50% un camion alors ce n'est certainement pas un 
arbre). 

On va decrire maintenant. de maniere plus detalll§e, ce synoptique 
de la figure 2, dans une premiere etape de definition de references (§tapes 
A ^ C sur la figure 2), on recupere un nombre important d'images contenant 
10 des voitures et on identifie les contours des fomnes a I'aide d'outils logiciels 
classiques. Ces formes sont normalis§es (ramenees a des proportions 
identiques) et oomparees (repere cartesien) de maniere a identifier des 
groupes homog^nes (contour superposable avec erreur minimale). Pour 
chaciin de ces groupes on Identifie la fornie moyenne, dite de reference 
15 (qui peut etre une image quelconque du groupe, puisque la segmentation - 
§tape C - assure que les membres d'un groupe ont une forte similitude) et 
le nombre de candldats par groupe. On pose que les formes de references 
regroupant le plus de candldats decrlvent le mieux de type de reference 
(voiture). On Identifie le nombre optimal de groupes avec des techniques 
20 classiques de clustering. Par exemple, on optimise le rapport entre en-eur 
moyenne intra groupes et inter groupes. L'algorithme de clustering est 
aliments par la matrice des en-eurs fomne ^ fomne. 

On suppose pour la suite de I'exemple que le nombre de groupes 
Ideal est deux. On dispose done de deux formes moyennes dont chacune 
25 affectee ^ une probability de simHItude fonction du % de forme dans le 
groupe par rapport au nombre total de formes. 

Contrairement a la logique binaire (une proposition est vraie ou 
fausse), la logique floue prend en compte le caractfere « possible » d'une 
proposition en y associant un certain niveau de vraisemblance. En plus d'un 
30 concept, la logique floue introduit des methodes et une algebre adapt6e 
permettant de manipuler des grandeurs floues (approximatives). 

La premiere etape (etape D sur la figure 2) dite de quantification 
floue (ou « fuzzlfication ») consiste a modeliser chaque entree du syst^me 
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par des courbes donnant le degre d'appartenance aux differents §tats du 
systdme possiblement associ6 a ces entrees. Dans notre cas, les entr6es 
sont les caract^ristiques physiques et les etats sont les types (ou 
associations de types) conceptuels. Le syst^me 6tant le reseau 

5 d'association (pond6ratlon normalisee) existant entre les entries et les 
sorties (voir figure 1a). 

Ainsi, cliaque entree, en fondion de son niveau de pond6ration sera 
representee sur une courbe de type sigmoTde (figure 3 ou approxlm6 figure 
4) qui explicitera son niveau d'appartenance ^ un type donne. 

10 Soit par example un reseau (figure 1) oCi le niveau de pond§ration 

maximal (normalise) est de 100. Une caracteristique physique qui sera 
reliee a un type conceptuel avec une ponderation de 10 sera consid§r6e 
comme la decrivant peu probablement. Au contraire, une ponderation de 80 
sera consid§ree comme une description trds pertinente. 

15 Dans la figure 4, les valeurs min et max obtenues par analyse 

statistique, fournissent les seuils au-dela desquels la caracteristique est 
consid§ree ne plus decrire du tout de type (min) ou tres bien le decrire 
(max). 

La fonction d'appartenance representee figure 5 §tablit le niveau 
20 d'appartenance 3 chaque sous-ensemble flou en fonction du niveau de 
I'erreur entre les fomies de reference (les deux formes moyennes) et les 
fomnes contenues dans I'image a analyser. 

Sur la figure 5, le symbole « - » repr6sente une appartenance peu 
probable. Le symbole « = » repr§sente une appartenance possible. Le 
25 symbole « + » repr§sente une appartenance tr6s probable. 

Sim mm et Sim max d^signent respectivement la similitude minlmale et 
maximale calcul6es fomrie S fomne dans chaque groupe tors de 
I'apprentissage. Sim max est la similitude entre les deux formes les plus 
semblables et Sim min la similitude entre les deux formes les plus differentes 
30 au sein d'un groupe donn6. 

D'une maniere similaire, on d^finit la fonction d'appartenance pour la 
variable de sortie (figure 6). 
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Les valeurs Sim min et Sim max dectivent ici I'incertitude minimale et 
maximale pour la prise de decision. On dira qu'au dessous de Sim min la 
fomie n'appartient pas au type, et qu'au dessus de Sim max. elle appartient 
au type et qu'entre ces deux valeurs elle appartient au type avec un certain 
5 niveau de probabilite. Par exemple. je peux considerer qu'en dessous de 
20% de certitude la personne que je vols au loin n'est pas la personne que 
j'imagine, alors qu'au-dessus de 75%, j'estime que c'est la personne en 
question. 

Les regies d'inf6rence (etapes E et F sur la figure 2 : definition des 
10 regies d'inference et mesure), impliquent una suite d'operations logiques et 
des conditions liant les entrees et la sortie que I'on peut adapter plus ou 
moins finement selon les cas a traiter. Le tableau suivant indique les modes 
de composition liant les deux groupes pour prendre la decision 
d'appartenance ou pas au type de reference. II faut rappeler ici que les 
15 deux groupes, obtenus par segmentation (etape C) sont des groupes 
dissimilaires. Une appartenance aux deux groupes ne permet done pas de 
lever l'ambiguft§ concemant I'appartenance au type. C'est pour cette raison 
que Ton affeote un - dans le tableau lorsque E1 et E2 sont a +. 

Les rfegles d'inf6rence entre les entries (le niveau d'appartenance 
20 au groupe 1 ou 2) et la sortie (niveau de certitude qu'il s'agit d'une voiture) 
sont les sulvantes. Les deux entrees 6tant relives & la sortie par une 
fonction OR (c'est ^ dire le maximum des deux valeurs en logique floue) 
dans le cas des faibles probabilit^s et de la fonction AND pour les fortes. 



E1/E2 






+ 
















+ 


+ 




+ 





Table 1 : inferences liant les entrees a la sortie 
Ce tableau s'interpr^te comme suit : 

Si (E1+ et E2+) ou (El - et E2-) ou (E1- et E2=) ou (E1= et E2-) alors 

S- 
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(Si la ressemblance S la forme 1 et la forme 2 est falble ou que la 
ressemblance est falble ^ la forme 1 et m6cliocre ^ la forme 2 ou que la 
ressemblance est mediocre ^ la forme 1 et falble a la forme 2 alors la forme 
Inconnue est peu probablement une voiture. 
5 SI (E1 = et E2=) ou (E1 + et E2-) ou (E1- et E2+) alors S= 

SI (E1+ et E2=) ou (E1= et E2+) alors S+ 

On donne ici maintenant un exemple d'algorlthme de composition 
des regies d'inferences pour un nombre de groupes quelconques. 

Chaque caracteristique peut prendre trois §tats (+, =) solt, pour n 
10 caracteristlques, 3" combinaisons possibles. 

Dans cette etape, on initialise les valeurs S+ ; S- ; et 8 = a 0. 
Pour chacune des 3" combinaisons : 

- on identifie le signe et la valeur des elements de la combinaison ; 

- on calcule Min comme etant le minimum de tous les elements de la 

15 combinaison. 

- dans chaque combinaison, on compte le nombre + et le nombre -. 
Les r6sultats sont alors exploit^s de la maniere suivante : 

- si le nombre d'el6ments « + » est inferieur a 30% du nombre 
d'§l6ments de la combinaison et au moins §gal ^ 1 6l6ment (on prend la 

20 valeur entlfere la plus proche des 30% (ex : si 0.7 alors on prend 1), alors. si 
MIn est supdrieur k la valeur S+, la valeur S+ est definie comme 6tant egale 
d Min ; 

- si le nombre d'§lements est sup6rieur § 70 %, alors, si Min est 
sup^rleur a la valeur S =. la valeur de S = est d§finle comme 6tant §gale a 

25 min ; 

- si le nombre d'el§ments est comprls entre 30 et 70%, alors, si Min 
est sup6rieur a la valeur S =, la valeur S = est defmie comme §tant §gale a 
Min) 

La sortie de ce systeme (Stapes G et H : defuzzlfication et 
30 croisement) est de la forme : I'objet conrespond (par exemple) S 80% au 
type T1 , a 65% au type 12, etc. Dans notre exemple. nous nous sommes 
limites a un seul type T1=voiture. 
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La defuzzificatlon consiste ^ ^valuer la grandeur de sortie (ici la 
probabilit6 d'appartenance S un type donn§). Cecl est r§alis§ en projetant 
r6tat des variables d'entr6es sur les variables de sortie au travers des 
regies d'inf§rence. Pratiquement, on r§duit (decapite) les fonctions 

5 d'appartenance des variables de sortie suivant les r§sultats fournis par les 
operations logiques (floues) dict^es par les rdgles d'inferences. Le 
paragraphs suivant donne un exemple illustre de cette operation. 

On donne maintenant un exemple d'application. On considere 
qu'apres la phase d'apprentissage, chaque groupe a les caracteristiques 

10 suivantes (figures 7 et 8) : 



Similitude /groupe 


1 


2 


Similitude -min % 


18 


25 


Similitude -max % 


58 


62 



On considdre qu'une image possede une forme qui apr§s 
comparaison avec les deux formes de references a les erreurs suivantes : 



Similitude /groupe 


1 


2 


Sim 


20 


45 



Si (El + et E2+) ou (El- et E2-) ou (E1 - et E2=) ou (El = et E2-) alors S- 
S-= Max [Min (0, 0.25), Min(0.85,0). Mln(0.85,0.7), Min(0.3,0] = 0.7 
Si (E1 = et E2=) ou (E1 + et E2-) ou (E1- et E2+) alors S= 
S==Max[Min(0.3,0.25). Min(0,0), Min(0.85.0.25)]=0.25 
20 SI (El + et E2+) (El + et E2=) ou (E1= et E2+) alors S+ 
S+=Max [Min(0.0.7). Min(0.3, 0.25)]=0.25 

Le resultat 48 correspond au centre de gravite des trois ensembles 
(-, +, =) de la sortie r6duit respectivement a 0.7,0.25,0.25 (surface 
hachuree, figure 9) 

25 La rdponse est done : « c'est une voiture a 48% ». Puisque dans 

notre exemple, nous nous sommes limites a un seul type, nous ne pouvons 
pas faire de croisements. 
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Dans la realit§, on met en oeuvre en plus I'^tape consistant ^ utlliser 
las probabilites d'appartenance aux diif§rents types ainsi obtenues en 
combinalson avec une serie de relations d'affinit§s entre types, affinites 
representatives de la perception humalne, de manl^re & 6llre des 

5 appartenances qui sont a la fois majoritaires en probability et qui se co- 
designent par leur relation d'affinit6, et de manidre S exclure des 
appartenances ayant une moindre affinity avec les types §lus. 

Cette etape, en combinaison avec les §tapes prec§dentes, pemiet 
de multiplier notablement la precision de I'analyse. Globalement, cette 

10 methode est interessante car elle offre une loi de composition pour des 
entries floues ce qui est d'autant plus difficile a gerer qu'il y a de 
nombreuses entries. 
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REVENDICATIONS 

1. Proced6 de description automatique d'un objet multimedia 

5 Inconnu, dans lequel on associe I'objet Inconnu avec plusieurs types 
d'objets multimedia de r§f§rence selon ^ chaque fois une probabilit6 
d'appartenance respective a cliaque type consid6r6 (G), le proc6de incluant 
une §tape consistant a mesurer au moins une caract6ristlque physique sur 
I'objet inconnu (F) et a la comparer avec des mesures de caract6ristiques 

10 representant au mieux les types de reference, le precede comprenant en 
outre r§tape (H) consistant a utiiiser pour chaque type au moins une 
relation probabiliste donnant une probabilite d'appartenance au type 
considere en fonction du resultat de la comparaison des caracteristiques de 
I'objet inconnu et du type, le precede comprenant en outre I'etape 

15 consistant & utiiiser les probabilites d'appartenance aux differents types 
ainsi obtenues en combinaison avec une serie de relations d'affinites entre 
types, de maniere a 6lire des appartenances qui sont a la fois majoritaires 
en probability et qui se co-d6signent par leur relation d'affinite, et de 
maniere ^ exclure des appartenances ayant une moindre affinite avec les 

20 types §lus. 

2. Proc6d6 de description selon la revendication 1, caracterise en ce 
qu'il comporte l'§tape pr§limlnaire consistant ^ d^finir les caracteristiques 
de reference d'un type S partir d'un groupe d'objets multimedia senses 
representer ce type (B), en realisant une mesure d'une caracteristique 

25 physique sur {'ensemble de ce groupe, et en tirant de cette serie de 
mesures une ou des valeur(s) de reference pour cette caracteristique. 
valeur(s) de reference qui est(sont) ensulte utillsee(s) pour definir ia relation 
de probabilite d'appartenance au type en tant que valeur § laquelle on 
compare une mesure sur un objet inconnu pour deduire la probabilite 

30 d'appartenance au type. 

3. Precede selon la revendication 2, caracterise en ce que le groupe 
d'objets multimedia est foumi a I'aide d'une etape de recherche 
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automatlque dans un systeme (information aveo un aspirateur Internet et 
un moteur de recherche internet. 

4. Proced§ selon Tune quelconque des revendlcations pr6c6dentes, 
caracterlse en ce qu'i! comporte l'§tape pr^limlnaire consistant ^ mesurer 

5 sur un ensemble d'objets descriptifs une frequence d'occunrence 
simultanee des types dans ces objets et en d6duire I'existence d'une 
affinite entre au moins deux types lorsque ceux-ci ont une occunrence 
simultanee particuliere. 

5. Precede de description selon I'une quelconque des revendlcations 
10 pr6cedentes. caract6ris§ en ce qu'il comporte I'etape consistant a effectuer 

une reconnaissance de forme sur I'objet multimedia inconnu (F), au moins 
une forme de reference k reconnaTtre sur I'objet inconnu constituant une 
caracteristique physique appartenant ^ la definition d'un des types. 

6. Precede selon la revendication 5, caract6rise en ce que la 
15 reconnaissance de forme comprend une mesure de similitude entre une 

forme pr6lev6e sur I'objet et la forme de reference, et comprend §galement 
I'utlllsatlon d'une relation predefinie qui donne une probability 
d'appartenance (G) au type en fonction de la mesure de similitude de forme 
efFectuSe. 

20 7. Proc§de selon Tune quelconque des revendlcations precedentes, 

caract§ris§ en ce qu'au moins un type inclut plusieurs caract6ristlques de 
r6f§rence (E1, E2), en ce qu'on realise au moins deux mesures sur I'objet 
inconnu pour 6tablir une mesure de proximity avec chacune des deux 
caract6rlstlques de r§f§rence, et en ce que Ton 6tabllt la probabillte 

25 d'appartenance k ce type en utilisant au moins deux relations, chacune 
donnant une probability d'appartenance au type en fonction de la proximite 
a une caracteristique differente. et en ce que les deux relations de 
probabillte sont utilis§es pour §tabllr un r§sultat global de probability 
d'appartenance de i'objet au type consid6re. 

30 8. Procedy selon la revendication precydente. caractyrisy en ce que 
les au moins deux relations de probability d'appartenance au type sont 
exploitees selon une technique combinatoire de logique floue pour foumir le 
rysultat de probability d'appartenance de I'objet au type considyry. 
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9. Proc§de selon Tune quelconque des revendications pr6c6dentes, 
caract6ris§ en ce qu'on met en cBuvre une technique de logique floue qui 
consiste en un m^canisme donnant un seul niveau de probability 
d'appartenance ^ un type de r§f6rence a partir d'une combinaison de 
5 probabilit6s de similitude aux diff6rentes caractSristiques du type de 
reference. 

10. Dispositif de description automatique d'un objet multimedia 
inconnu, comprenant des moyens pour assocler I'objet inconnu avec 
plusieurs types d'objets multimedia de reference selon a chaque fois une 

10 probabilite d'appartenance respective au type considere (G), le dispositif 
incluant des moyens pour mesurer au moins une caracteristique physique 
sur I'objet inconnu (F) et la comparer avec des mesures representant au 
mieux les types de reference, le dispositif comprenant en outre des moyens 
utilisant pour chaque type au moins une relation probabiliste donnant une 

15 probability d'appartenance au type considere en fonction du resultat de la 
comparaison des caract6ristiques de I'objet inconnu et du type, le dispositif 
comprenant en outre des moyens pour utiliser les probabilites 
d'appartenance aux differents types ainsi obtenues en combinaison avec 
une s§rie de relations d'affinlt6s entre types, de manidre a elire (H) des 

20 appartenances qui sont § la fois majoritaires en probabilite et qui se co- 
d§slgnent par leur relation d'affinity, et de mani§re a exclure des 
appartenances ayant une moindre affinity avec les types yius. 

11. Dispositif selon la revendication 10, caractyris6 en ce qu'il indut 
des moyens de traitement pour exploiter plusieurs groupes d'objets 

25 multlm6dia de r^fyrence (B, C), chaque groupe reprysentant au mieux son 
type correspondant, ces moyens de traitement ytant en outre pryvus pour 
realiser au moins une mesure d'une caractyristique physique sur 
I'ensemble d'un groupe considyry, et en tirer une mesure de ryfyrence de 
cette caracteristique, cette mesure de ryfyrence ytant ensuite utilisye dans 

30 la definition de la relation donnant une probability d'appartenance au type 
considere, en tant que mesure a laquelie le dispositif compare une mesure 
sur un objet inconnu pour deduire la probability d'appartenance au type 
considyry (G). 
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12. Dispos'ltif selon la revendlcatlon 10 ou la revendication 11, 
caract6ris§ en ce qu'il inclut des moyens pour mettre en oeuvre une etape 
pr§liminaire conslstant S mesurer sur un ensemble d'objets descriptifs une 
frequence d'occunrence des types dans ces objets, et en d6duire I'existence 
5 d'une affinite entre au moins deux types lorsque ceux-ci ont une occurrence 
simultan^e particuliere. 
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